"""
RDD对象：弹性分布式数据集

PySpark进行数据处理，均以RDD对象为载体：
      数据存储在RDD内
      各类数据的计算方法，也都是RDD的成员方法
      RDD的数据计算方法，返回值均为RDD对象

注意：输入字符串型，会拆成一个一个存入；输入字典型，只传入key

"""

# 创建sc对象
from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
sc = SparkContext(conf=conf)

# 通过parallelize方法将Python对象加载到Spark内，成为RDD对象
rdd1 = sc.parallelize([1, 2, 3, 4, 5])
rdd2 = sc.parallelize((1, 2, 3, 4, 5))
rdd3 = sc.parallelize({1, 2, 3, 4, 5})
rdd4 = sc.parallelize("abcdefg")
rdd5 = sc.parallelize({"key1": "value1", "key2": "value2"})

# 查看RDD的内容，用collect()
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())


# 通过TextFile方法，读取本地的文件数据加载到Spark内，成为RDD对象
rdd = sc.textFile("E:/excel学习文档-表格/hello.txt")
print(rdd.collect())


sc.stop()



















